长上下文

浦语灵笔

浦语灵笔IXC-2.5是一款由上海人工智能实验室开发的多模态大模型,具备7B规模的大型语言模型后端,能够处理长上下文、超高分辨率图像和细粒度视频理解,支持多轮多图像对话。该模型可以自动生成网页代码和高质量图文内容,在多模态基准测试中表现出色,性能可与OpenAI的GPT-4V相媲美。

LongWriter

LongWriter是一款由清华大学与智谱AI合作开发的长文本生成模型,能够生成超过10,000字的连贯文本。该模型基于增强的长上下文大型语言模型,采用了直接偏好优化(DPO)技术和AgentWrite方法,能够处理超过100,000个token的历史记录。LongWriter适用于多种应用场景,包括学术研究、内容创作、出版行业、教育领域和新闻媒体等。

LongVILA

LongVILA是一款专为长视频理解设计的视觉语言AI模型,由多家知名研究机构共同开发。它具备强大的长上下文处理能力和多模态序列并行性,能在大量GPU上高效训练,无需梯度检查点。LongVILA通过五阶段训练流程,结合大规模数据集构建和高性能推理,显著提升了长视频字幕的准确性和处理效率。此外,它还支持多种应用场景,包括视频字幕生成、内容分析、视频问答系统等。

LTM

LTM-2-mini是一款由Magic公司开发的AI模型,支持处理高达1亿token的上下文信息。该模型采用序列维度算法,计算效率显著优于传统模型,适用于处理大规模代码库和相关文档,生成高质量代码。其长期记忆网络架构和HashHop评估体系进一步提升了模型在处理长上下文时的性能和多步推理能力。LTM-2-mini可用于代码生成与补全、代码审查、文档自动化、任务自动化及知识库构建等多种应用场景。

Qwen2.5

Qwen2.5-Coder是一款开源代码生成模型,覆盖多种规模参数,支持超过40种编程语言,擅长代码生成、推理、修复及多语言支持。其旗舰模型在多项基准测试中表现优异,具备强大的长上下文处理能力和人类偏好对齐特性。适用于日常编程、代码学习、教育、代码审查及自动化测试等场景。

Aria

Aria是首个开源多模态原生混合专家(MoE)模型,支持文本、代码、图像和视频的综合处理,具有强大的多模态任务处理能力和长上下文窗口,可高效应对复杂长数据。模型开源且可扩展,适用于多模态AI领域的研究与应用。

DuoAttention

DuoAttention是由MIT韩松团队提出的新型框架,通过区分“检索头”和“流式头”两种注意力机制,显著提升了大型语言模型在处理长上下文时的推理效率。该框架有效减少了内存占用,加速了解码和预填充过程,并保持了模型的准确性。它适用于多轮对话、长文档处理、学术研究以及内容推荐等多个领域。

ACE

ACE是一款基于扩散Transformer架构的多模态图像生成与编辑工具,通过长上下文条件单元(LCU)和统一条件格式实现自然语言指令的理解与执行。它支持图像生成、编辑、多轮交互等多种任务,适用于艺术创作、媒体制作、广告设计、教育培训等多个领域,提供高效且灵活的视觉内容解决方案。

Mooncake

Mooncake是一个以KVCache为中心的分布式大模型推理架构,由Kimi联合清华大学等机构开源。它通过分离预填充和解码阶段,有效利用GPU集群的其他资源,显著提升推理吞吐量,降低算力消耗,同时保持低延迟。Mooncake支持长上下文处理、负载均衡及过载管理,适用于多种应用场景,包括自然语言处理、语音识别、搜索引擎优化等,推动大模型技术的高效应用。

Fox

Fox-1是一系列由TensorOpera开发的小型语言模型,基于大规模预训练和微调数据,具备强大的文本生成、指令遵循、多轮对话和长上下文处理能力。该模型在多个基准测试中表现出色,适用于聊天机器人、内容创作、语言翻译、教育辅助和信息检索等多种应用场景。